「最佳实践」当Fintech遇上对象存储
以数据为核心的金融科技(Fintech)遇上对象存储,究竟会迸发怎样的火花?
「Fintech核心是数据」
Fintech的浪潮正在席卷全球金融行业。究其本质,Fintech是以数据和云计算、人工智能等先进技术为核心驱动力,用创新的方法改善用户体验,促使金融服务更加富有效率,从而重塑金融行业格局。
数据作为Fintech的核心,不仅可基于丰富的数据储备输出精准用户画像,跟踪用户完整生命周期,提升获客能力,在身份验证、授信、贷中监控、贷后管理等环节,更可基于数据分析识别潜在风险,实现资源的最优配置。
在数据类型上,包括账单、身份证图片、其它用户识别信息、音频等从几十K到几百K的小文件占据了主流,系统中往往存放着数千万乃至上亿的小文件。为了让数据真正转化成为Fintech企业的数据资产,需要有效的技术手段来完成数据的甄别,并能够满足用户基于互联网的海量并发访问,以及符合监管和法规遵从要求。
另外,值得注意的是,对于新兴的Fintech(金融科技)企业来说,由于天然的具有互联网的高度开放、产品快速迭代、轻资产属性等标签,区别于传统金融企业采用的主流私有云构建方式,部分选择采用基于公有云来构建专属的私有云平台,并预留未来走向混合云的基础架构。这一特点要求存储系统当前既能够部署于公有云,同时未来还能够无缝连接私有云和公有云。
面向上述需求,对象存储提供了创新的解决方案。对象存储的“元数据(metadata)”可用于记录应用相关或用户相关的附加信息,在此基础上可以实现丰富的数据分析、查询、检索等功能,将有价值的数据识别出来,形成数据资产。同时,对象存储使用HTTP协议,原生对接互联网应用,可无缝连接内部私有云和外部公有云……
「社区版开源软件的挑战」
北京明特量化信息技术有限公司(简称“明特量化”),是一家定位为全球化智能信贷技术服务的金融科技公司,通过技术赋能,深度参与全球的智能信贷基础设施建设,为当地经济发展助力。目前,明特量化已在美国、中国、印度尼西亚等国家建立分支机构。
凭借雄厚的技术实力,明特量化在业内广受认可。成立两年来,它以数据驱动为基础,以技术创新为手段,自主研发了全流程智能金融服务体系——“智能量子引擎”,涵盖了“变量引擎、定量引擎、筹量引擎、盘量引擎”四大模块,通过输出精准用户画像、反欺诈模型、信用风险模型、催收评分卡模型、智能报表系统、资源最优配置模型、闭环风控体系等技术,赋能行业的裂变发展。
作为一家典型的Fintech企业,明特量化为了实现资源的高效配置,将重点聚焦于技术创新,并选择了基于国内某主流公有云来搭建专属的私有云平台。
而在后端存储上,明特量化很早就意识到对象存储巨大的潜在价值,不仅能够轻松的部署于当前的公有云平台,满足客户基于互联网的海量并发访问需求,并且为未来从公有云托管到自建私有云,预备了架构基础。因此,明特量化一开始就选择采用社区版开源对象存储软件,为其核心生产数据和IT业务提供支撑。
随着明特量化业务的开展,各种类型的用户数据和账单信息,积累了海量的小文件,到2017年10月份,各类小文件数量一度逼近8千万个,并且小文件的数量还在保存月均递增200万个,这对当前的存储系统提出了较高的稳定性和性能要求。与此同时,在社区版开源软件的使用过程中也逐渐发现了一些问题:
社区版开源软件的存储配置运维管理复杂,无图形化操作界面,运维成本高;
社区版开源软件如果想使用新特性,必须升级版本,但是风险很大,容易导致故障;
当前数据模型下,存储性能无法满足需求,尤其是海量的小文件带来巨大挑战。
「解决之道」
为了解决社区版开源软件带来的困扰,明特量化开始向外部寻求解决方案,并最终与国内对象存储市场份额居首位的XSKY达成合作。
2017年10月,明特量化正式引入部署X-EOS企业级对象存储产品,并将所有数据从之前社区版开源软件迁移到X-EOS,而IT硬件架构依旧构建在公有云平台之上。
X-EOS运行半年多时间来,存储集群故障次数为0,不仅有力的保障了明特量化现有业务的正常开展,同时随着存储性能的大幅提升,为更多的业务创新和市场拓展提供了助力,另外还为明特量化未来走向混合云架构预备了基础。
故障次数为0,保证业务的持续性;
多副本冗余存储,增强数据整体安全性;
引入SSD作为索引池,存储性能大幅提升,写性能提升10倍,读性能提升3倍;
图形化的管理和智能运维能力,降低运维难度,节省资源;
海量小文件支撑,目前系统中存储的小文件数量超亿级。
随着Fintech在支付、保险、借贷、投资、融资等金融业态的深入应用,普惠金融正在逐渐成为现实,并带来了持续增长、海量的非结构化数据存储和管理需求。XSKY为明特量化等Fintech企业,打造了应对互联网时代,高稳定性与支持海量用户远程访问,满足多云需求的对象存储解决方案,真正让数据为智慧金融赋能!
推荐阅读
Recommended reading
点击下列标题 阅读更多资讯